Trong tiểu thuyết Tam quốc diễn nghĩa, nhân vật Từ Hoảng xuất hiện lần đầu ở chương 13. Cũng giống như trong lịch sử, Từ Hoảng làm tướng dưới quyền Dương Phụng và đang hộ tống Hán Hiến Đế về Lạc Dương sau khi Đổng Trác chết. Khi Tào Tháo đến Lạc Dương, Dương Phụng sai Từ Hoảng chặn đường. Tháo thấy Từ Hoảng uy phong lẫm liệt, có lòng khen thầm, nên sai võ tướng dũng mãnh nhất của mình là nhân vật Hứa Chử giao chiến với nhân vật Từ Hoảng.

Hai bên đánh nhau hơn năm mươi hiệp vẫn không phân thắng bại. Tào Tháo thấy Từ Hoảng anh hùng, có lòng yêu mến nên cho rút quân về. Sau đó, Tào Tháo sai quân sư Mãn Sủng, một người cùng làng với Từ Hoảng, sang thuyết phục Từ Hoảng về hàng Tháo. Đêm đó, Mãn Sủng cải trang thành tên lính và lẻn vào trại địch. Sau khi bị thuyết phục, Từ Hoảng quyết định sang hàng Tào Tháo. Mãn Sủng khuyên Từ Hoảng giết Dương Phụng, nhưng vì là người nghĩa sĩ quân tử nên ông đã không làm việc đó.

Cái chết hư cấu

Trong trận đánh ở Tân Thành, nhân vật Từ Hoảng đến dưới thành kêu gọi nhân vật Mạnh Đạt ra hàng, bị bắn tên vào giữa trán. Các lính cứu Từ Hoảng về đến trại, được thầy thuốc rút tên và cố gắng chữa, nhưng vì vết thương nặng quá nên nhân vật này chết ở trong quân, thọ 59 tuổi.

Việc nhà văn La Quán Trung thêu dệt ra một cái chết hư cấu không mấy vẻ vang cho nhân vật Từ Hoảng trong truyện có thể là do quan điểm "Thục là vua, Ngụy là giặc", kèm theo việc Từ Hoảng đánh bại Quan Vũ (những người hại Quan Vũ đều bị nhà văn cho chết bất đắc kỳ tử), hoặc cũng có thể do tác giả muốn các danh tướng được "chết trận" chứ không chết già.